Friedrich Franz Graf von Waldersee sinh vào tháng 12 năm 1829 ở Berlin, là cháu nội của Franz Graf Waldersee (1763 – 1823), một người con ngoài giá thú của Vương hầu (Fürst, sau năm 1806 là Công tước) Leopold III xứ Anhalt-Dessau với Johanna Eleonore Hoffmeyer (12 tháng 11 năm 1739 – 3 tháng 6 năm 1816). Ông là người con thứ 4 trong 6 người con của viên tướng kỵ binh Phổ Franz Heinrich von Waldersee (25 tháng 4 năm 1791 tại Dessau – 16 tháng 1 năm 1873 tại Breslau) với bà Bertha von Hünerbein (1799 – 1859). Em trai của ông, Alfred von Waldersee (1832 – 1904), từng tham gia các cuộc chiến tranh với Áo năm 1866 và với Pháp từ năm 1870 đến năm 1871, giữ chức Tổng tham mưu trưởng quân đội Đức trong một thời gian ngắn và về sau trở thành Thống chế. Kể từ năm 1897, gia đình von Waldersee cư ngụ tại Dinh thự Waterneverstorff ở quận Waterneverstorf thuộc đô thị tự trị Behrensdorf.